Opera: A Verbal Critic Framework for Long-horizon Coding Agents
Opera:面向长程编码 Agent 的语言化批评框架
🧭 Agent 执行期批评与反馈闭环
Salesforce AI Research · Rutgers University · Lehigh University
将每次纠正视为持久化笔记并跟踪到问题解决,显著提升编码 Agent 的 resolve rate 并支持蒸馏训练
📌 工作参考价值(4 点)
- 对电商/广告场景中的长周期 Agent(自动选品、广告投放、多轮购物助手),把每次干预/纠正变成持久化 note 并跟踪到闭环,而不是发完反馈就结束;配合周期性+事件驱动触发器,避免在任务进行中过早打断。
- 诊断问题用 typed operators(如重复动作、过早完成、缺乏验证),可迁移到推荐/搜索 Agent 的轨迹诊断:定义可枚举的高频失败模式,比开放生成 feedback 更可控、可审计。
- 反馈投递前先做 evidence audit,只基于可见轨迹批评,降低 LLM critic 幻觉和误判;对推荐解释、query 改写评估等 critic 模块同样适用,可减少误导性反馈。
- 用 critic-guided rollouts 蒸馏成 on-policy 微调数据,使小模型(如 Qwen3.5-9B)推理时无需 critic 也能保持提升,适合线上低延迟的推荐/广告 Agent 部署;这是一个可复用的训练数据生产范式。